Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding
超越帧选择:长视频理解的生成式隐式证据聚合
🧭 视频理解 · 隐式证据聚合
The Hong Kong University of Science and Technology · Baidu Inc. · Alibaba Group · Xidian University
通过查询条件分布引导隐式证据聚合,在帧选择后生成紧凑跨帧证据,以极低成本大幅提升长视频理解准确率
📌 工作参考价值(3 点)
- 视频推荐或直播理解任务中,可借鉴隐式证据聚合模块,以微小开销增强多帧/多片段信息的跨时刻融合。
- 自适应证据调用机制可迁移至推理阶段动态计算分配:根据查询难度决定是否插入额外计算模块,控制延迟。
- 用于长序列用户行为建模时,可参照查询条件分布对历史行为片段加权聚合,提升关键信息提取效率。